Heterogeneous Ranking in Industrial-Scale Recommender Systems: A Case Study
工业级推荐系统的异构排序:Google Discover 案例研究
🧭 多任务 MoE 异构排序 · 跨类型公平性 ★ 深度解读
提出 HA-MoE 架构将内容类型异构信号显式注入门控与专家调制,通过 LENS 可观测框架与 DL-AUC 指标打破负迁移并保障跨类型排序公平性。
📌 工作参考价值(4 点)
- 用显式类型信号调节 MoE 门控与专家:在电商/信息流中若需混排广告、直播、图文等多种内容,可在 MMoE 基础上将 item_type 等离散特征直接拼接入门控输入,并对专家输出做 FiLM 式的 scale & shift 调制,低成本实现内容自适应,避免少数类被淹没。
- 轻量级跨类型排序公平性指标:业务中常用全局 AUC,但可能掩盖广告压制短视频等问题。可参考 DL-AUC = λ·Micro-AUC + (1-λ)·Macro-xAUC,计算各内容类型间正负样本的交叉 AUC 均值,作为模型选优的硬约束,尤其适合有流量倾斜风险的场景。
- MoE 专家分工的可视化与监控:LENS 的激活切片能直观展示不同内容类型/任务所用专家的分布;PIEM 通过匈牙利匹配计算跨 run 的专家功能相似度,可做成自动巡检指标,在 warm-start 训练中快速发现专家坍缩或功能漂移,比等跑完完整评估更快更省。
- 多任务冲突的缓解技巧:共享底层 MLP 容易造成正负目标 seesaw,MMoE 直接替换有时仍会恶化某项。HA-MoE 通过异构信号解耦专家泛化能力,可复制到广告/搜索的「点击率+转化率+负反馈」联合优化中,尝试将场景/媒体特征注入类似 gate 和 expert 内部。